from pyspark.context import SparkContext

sc = SparkContext(master='local', appName='wordcount')

student_rdd = sc.textFile('../../data/students.txt')
def map_func(line):
    fields = line.split(',')[-1]
    return fields
clazz_rdd = student_rdd.map(map_func)


'''
缓存：当RDD多次使用时，可以将RDD的数据缓存起来，减少重复计算
1，当第一个job执行时，如果发现rdd调用了cache方法，会将rdd的数据缓存起来
2，当再有job使用了这个rdd就会从缓存中读取数据

'''
clazz_rdd.cache()


clazz_rdd.foreach(print)
clazz_rdd.foreach(print)
clazz_rdd.saveAsTextFile('../../data/clazz')
